Sách Gia Định thành thông chí của Trịnh Hoài Đức mô tả Kim Dữ lớn (Đại Kim Dữ)[3] như sau:

Đại Kim Dữ ở vùng bãi biển phía nam trấn, chu vi 193 trượng 5 thước ta. Đảo nầy ngăn sóng giữ, ấy là hạt ngọc biển của trấn. Nơi bờ có bắc cái cầu ván để thông lối ra vào, phía sau có viện Quan Âm, là chỗ Tống Thị Sương[4] thêu tượng Phật Bà tịnh tu; phía trái có điếu đình, khi có gió mát trăng trong, khách du ngoạn thường buông câu ngâm vịnh. Phía trước có đặt trại thủ bị, phía tây nam xây lũy đá bao quanh để giữ giặc biển. Đây là cảnh Kim dữ lan đào [đảo Kim (vàng) ngăn sóng], một trong 10 cảnh đẹp ở Hà Tiên.[5]

Đứng trên đỉnh, người ta có thể chiêm ngưỡng cảnh biển, cảnh Đông Hồ và phố chợ Hà Tiên. Song trải bao năm tháng, đồn lũy xưa trên đỉnh chỉ còn là phế tích. Giờ đây, ở nơi đó, người ta đã cho xây dựng một tòa kiến trúc bề thế, đó chính là khách sạn Pháo Đài. Còn dưới chân hòn, con đường bằng đá (đường Cầu Đá) ngày xưa nay đã được mở rộng và trải nhựa. Năm 2003, người ta cũng đã xây dựng cầu bê tông nối liền đôi bờ của cửa biển Hà Tiên.